Sự nghiệp của ông Nguyễn Kim Sơn gắn liền với Đại học Quốc gia Hà Nội.[4]

Từ tháng 4/1991 đến tháng 2/1999, ông là cán bộ giảng dạy Khoa Ngữ văn, Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 03/1999 đến 03/2002, ông kiêm nhiệm thêm chức vụ Bí thư Đoàn TNCSHCM Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 04/2002 đến tháng 03/2003, ông làm Phó Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 04/2003 đến tháng 4/2006, ông là Trưởng phòng Đào tạo kiêm Phó Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 05/2006 đến tháng 05/2007, ông là Trưởng phòng Đào tạo kiêm Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 11/2009 đến tháng 05/2010, ông là Phó Hiệu trưởng, Phó Bí thư Đảng ủy Trường ĐHKHXH&NV kiêm Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường ĐH KHXH&NV, ĐHQGHN.

Tháng 01/2012 đến tháng 2/2016, ông là Phó Bí thư Đảng ủy, Phó Giám đốc ĐHQGHN;

Tháng 2/2016 đến tháng 6/2016, ông là Phó Bí thư Thường trực Đảng ủy, Phó Giám đốc Thường trực ĐHQGHN;

Ngày 30/6/2016, ông được bổ nhiệm là Giám đốc ĐHQGHN[5][6] và từ ngày 20/9/2016 là Bí thư Đảng ủy ĐHQGHN

Ngày 03/01/2019, ông trở thành Giám đốc ĐHQGHN kiêm giữ chức Chủ tịch Hội đồng ĐHQGHN nhiệm kỳ 2018-2023

Trong thời gian Đại học Quốc gia Hà Nội tiến hành thí điểm phương án Đổi mới Tuyển sinh Đại học bằng cách thi Đánh giá năng lực, ông Nguyễn Kim Sơn là người trực tiếp chỉ đạo việc triển khai thực hiện công việc này.[7]

Ngày 08/04/2021, ông được Thủ tướng Phạm Minh Chính đề cử, Quốc hội khóa XIV phê chuẩn và Chủ tịch nước Nguyễn Xuân Phúc đã ký quyết định bổ nhiệm ông giữ chức vụ Bộ trưởng Bộ Giáo dục và Đào tạo.[8]